Definition Was ist Choice Shuffle Ensembling?

Anbieter zum Thema

Fsas Technologies GmbH

Choice Shuffle Ensembling ist eine Prompting-Technik, mit der sich die Ergebnisqualität von KI-Sprachmodellen verbessern lässt. Die Technik präsentiert dem Modell die verschiedenen Antwortoptionen in unterschiedlichen Reihenfolgen und reduziert so einen möglicherweise auftretenden Positions-Bias.

Choice Shuffle Ensembling ist eine Prompting-Technik, die bei KI-Sprachmodellen zum Einsatz kommen kann. Sie verbessert die Qualität der Antworten des Modells, indem die verschiedenen Antwortoptionen in unterschiedlichen Reihenfolgen präsentiert werden. Vor der Ausgabe der endgültigen Antwort wird die Konsistenz der Antworten für die verschiedenen Reihenfolgen abgeglichen.

Mit Choice Shuffle Ensembling lässt sich ein möglicherweise auftretender Positions-Bias (Positionsverzerrung) reduzieren. Die Technik kann zum Beispiel bei der Beantwortung von Multiple-Choice-Fragen zum Einsatz kommen. Ähnlich wie bei Menschen, die die zuerst angeführten Antwortoptionen bei Multiple-Choice-Fragen bevorzugt wählen, neigen auch Sprachmodelle dazu, bestimmte Antwortoptionen abhängig von ihrer Position zu bevorzugen.

Choice Shuffle Ensembling ist aber nicht auf den Anwendungsbereich der Beantwortung von Multiple-Choice-Fragen begrenzt, sondern lässt sich auch für andere Aufgaben an KI-Modelle verwenden. Neben der Reduzierung von Positions-Bias verbessert die Technik die Vielfalt der Argumentationswege.

Funktionsweise von Choice Shuffle Ensembling

Etwas vereinfacht dargestellt, lässt sich die prinzipielle Funktionsweise der Prompting-Technik Choice Shuffle Ensembling folgendermaßen beschreiben:

Choice Shuffle Ensembling mischt die Reihenfolge, in der die verschiedenen Antwortoptionen oder Few-Shot-Beispiele einem Modell präsentiert werden, nach dem Zufallsprinzip. Für jede präsentierte Reihenfolge generiert das Modell anschließend Ergebnisse oder Argumentationspfade. Diese Antworten werden im Anschluss nach verschiedenen Methoden hinsichtlich ihrer Konsistenz geprüft. Die konsistenteste Antwort, die am wenigsten positionssensibel ist, wird ausgewählt und als endgültige Antwort ausgegeben.

Medprompt – Anwendungsbeispiel von Choice Shuffle Ensembling

Ein bekanntes Anwendungsbeispiel von Choice Shuffle Ensembling ist die von Microsoft im November 2023 vorgestellte Prompting-Strategie Medprompt. Medprompt wurde entwickelt, um die Fragestellung zu untersuchen, ob große Grundlagensprachmodelle wie GPT-4, die für generalistische Zwecke entworfen wurde, durch spezielle Prompting-Strategien die Leistung von für spezifische Domänen entwickelten KI-Modellen erreichen oder sogar übertreffen können. Wie die Arbeit von Microsoft zeigt, verbessert Medprompt die Leistung von GPT-4 in Benchmarks mit medizinischen Fragen und Aufgaben deutlich. GPT-4 erreicht mit Medprompt Benchmarkspitzenwerte und übertrifft spezialisierte Modelle wie MedPaLM-2.

Um dies zu erreichen, kombiniert Medprompt drei verschiedene Prompting-Ansätze. Dabei handelt es sich um das dynamische Few-Shot-Prompting, die selbstgenerierte Chain-of-Thought (CoT) und das Choice Shuffle Ensembling. Die Prompting-Strategie Medprompt ist nicht nur im medizinischen Bereich anwendbar, sondern lässt sich auch für Bereiche wie Recht, Philosophie, Psychologie und andere verwenden.

(ID:50193222)